<?xml version="1.0" encoding="ISO-8859-1"?>
<metadatalist>
	<metadata ReferenceType="Thesis">
		<site>mtc-m21d.sid.inpe.br 808</site>
		<holdercode>{isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S}</holdercode>
		<identifier>8JMKD3MGP3W34T/4ADRCA2</identifier>
		<repository>sid.inpe.br/mtc-m21d/2023/12.21.15.45</repository>
		<lastupdate>2024:04.01.12.07.40 urlib.net/www/2021/06.04.03.40 simone</lastupdate>
		<metadatarepository>sid.inpe.br/mtc-m21d/2023/12.21.15.45.36</metadatarepository>
		<metadatalastupdate>2024:04.04.08.39.23 sid.inpe.br/bibdigital@80/2006/04.07.15.50 administrator</metadatalastupdate>
		<secondarykey>INPE-18798-TDI/3401</secondarykey>
		<citationkey>Rodrigues:2024:MaLeHa</citationkey>
		<title>Machine learning e hashing para identificação de imagens de sensoriamento remoto baseada em conteúdo</title>
		<alternatetitle>Machine learning and hashing for content-based image retrieval (CBIR) of remote sensing images</alternatetitle>
		<course>CAP-COMP-DIPGR-INPE-MCTI-GOV-BR</course>
		<year>2024</year>
		<date>2023-12-15</date>
		<thesistype>Tese (Doutorado em Computação Aplicada)</thesistype>
		<secondarytype>TDI</secondarytype>
		<numberofpages>106</numberofpages>
		<numberoffiles>2</numberoffiles>
		<size>25746 KiB</size>
		<author>Rodrigues, Marcos Lima,</author>
		<committee>Gomes, Karine Reis Ferreira (presidente),</committee>
		<committee>Körting, Thales Sehn (orientador),</committee>
		<committee>Queiroz, Gilberto Ribeiro de (orientador),</committee>
		<committee>Negri, Rogério Galante,</committee>
		<committee>Noma, Alexandre,</committee>
		<e-mailaddress>marcos.mlr@gmail.com</e-mailaddress>
		<university>Instituto Nacional de Pesquisas Espaciais (INPE)</university>
		<city>São José dos Campos</city>
		<transferableflag>1</transferableflag>
		<keywords>recuperação de imagens baseada em conteúdo, redes neurais convolucionais, euroSAT, uso e cobertura da terra, Cerrado, content-based image retrieval (CBIR), deep hashing neural network (DHNN), euroSAT, land use and land cover (LULC), the brazilian savanna (Cerrado).</keywords>
		<abstract>Neste trabalho é apresentado o desenvolvimento de uma solução (framework) para busca e recuperação de imagens de satélite baseadas em conteúdo, com potencial para aplicação no escopo de grandes conjuntos de dados. A área de sensoriamento remoto (SR) para observação da Terra tem experimentado um grande desenvolvimento na última década, dando origem a era do Remote Sensing Big Data (RSBD), tornando desafiadora a tarefa de recuperar imagens úteis nesse grande volume de dados, por exemplo, que possam ser usadas para estudos de uso e cobertura da terra no Cerrado brasileiro. Nesse contexto, o desenvolvimento de sistemas baseados em Content-Based Image Retrieval (CBIR) apoiado por métodos de Deep Learning como as Convolutional Neural Networks (CNNs), têm sido empregados com sucesso a dados multifontes e multiespectrais (MS). As arquiteturas Deep Hashing Neural Networks (DHNNs) empregam CNNs para extração de atributos de imagens e conversão desses atributos em códigos binários (hash codes) para criação de um espaço métrico otimizado para CBIR no escopo do RSBD. A Metric-Learning-Based Deep Hashing Network (MiLaN) representa o estado da arte desse tipo de arquitetura, baseada na combinação de três funções de perda que permitem o aprendizado de um espaço métrico ideal para a recuperação de imagens baseada em conteúdo (Semantic- Based Metric Space). Originalmente a rede MiLaN adotou como módulo de extração de características das imagens (backbone) a rede Inception V3 pré-treinada com dados fora do domínio do SR (ImageNet), isso implica em limitações devido a diferenças típicas entre as imagens como a resolução espacial e influência da atmosfera nas imagens orbitais. O framework proposto possibilitou avanços em relação à abordagem original da MiLaN ao adotar um novo backbone baseado na ResNet-50 e realizar o processo de ajuste dessas arquiteturas (MiLaN+ResNet-50) através do fine-tuning baseado em imagens satelitais MS. Esta afirmação é evidenciada pelos resultados expressivos alcançados para tarefa CBIR medidos através da métrica mean Average Precision - mAP, o desempenho global baseado nas 100 primeiras imagens recuperadas (mAP@100) foi de 99,8873% para o conjunto EuroSAT MS (Sentinel 2 - 13 bandas). De maneira particular foi demonstrado que os dados MS fornecem informações semânticas de qualidade durante o processo de extração de características usando a ResNet-50, contribuindo assim para correção de erros em relação à discriminação de imagens que apresentam padrões geométricos (Áreas Industriais/Residenciais) e de textura (Floresta, Pastagem e Culturas Permanente) similares quando utilizado somente as bandas RGB das imagens de média resolução do conjunto EuroSAT. O desempenho para o conjunto EuroSAT MS superou o apresentado por outros métodos do estado da arte para realização de CBIR, inclusive utilizando imagens aéreas de alta resolução espacial do conjunto Aerial Image Dataset (AID). ABSTRACT: This work presents the development of a framework for searching and retrieving content-based satellite images, with potential for application in the scope of large datasets. The area of remote sensing (RS) for Earth observation has experienced great development in the last decade, giving rise to the era of Remote Sensing Big Data (RSBD), making the task of retrieving useful images from this large volume of data challenging, for example, that can be used for studies of land use and land cover in the Brazilian Cerrado. In this context, the development of systems based on Content-Based Image Retrieval (CBIR) supported by Deep Learning methods such as Convolutional Neural Networks (CNNs), have been successfully applied to multisource and multispectral (MS) data. Deep Hashing Neural Networks (DHNNs) architectures employ CNNs to extract image attributes and convert these attributes into binary codes (hash codes) to create a metric space optimized for CBIR within the scope of RSBD. The Metric-Learning-Based Deep Hashing Network (MiLaN) represents the state of the art of this type of architecture, based on the combination of three loss functions that allow the learning of a space ideal metric for CBIR (Semantic-Based Metric Space). Originally, the MiLaN network adopted the Inception V3 network pre-trained with data outside the RS domain (ImageNet) as an image feature extraction module (backbone), this implies limitations due to typical differences between images such as the spatial resolution and influence of the atmosphere on orbital images. The proposed framework enabled advances in the original MiLaN approach by adopting a new backbone based on ResNet-50 and carrying out the adjustment process of these architectures (MiLaN+ResNet-50) through fine-tuning based on MS satellite images. This statement is evidenced by the expressive results achieved for the CBIR task measured using the mean Average Precision (mAP) metric, the global performance based on the top-100 recovered images (mAP@100) was 99.8873% for the set EuroSAT MS (Sentinel 2 - 13 bands). In particular, it was demonstrated that MS data provides quality semantic information during the feature extraction process using ResNet-50, thus contributing to error correction concerning the discrimination of images that present geometric patterns (Industrial/Residential Areas) and texture (Forest, Pasture and Permanent Crops) similar when using only the RGB bands of the medium resolution images from the EuroSAT set. The performance for the EuroSAT MS dataset surpassed that presented by other state-of-the-art methods for carrying out CBIR, including using high spatial resolution aerial images from the Aerial Image Dataset (AID).</abstract>
		<area>SRE</area>
		<language>pt</language>
		<targetfile>publicacao.pdf</targetfile>
		<usergroup>marcos.rodrigues@inpe.br</usergroup>
		<usergroup>simone</usergroup>
		<visibility>shown</visibility>
		<copyright>urlib.net/www/2012/11.12.15.10</copyright>
		<rightsholder>originalauthor yes</rightsholder>
		<readpermission>allow from all</readpermission>
		<documentstage>not transferred</documentstage>
		<mirrorrepository>urlib.net/www/2021/06.04.03.40.25</mirrorrepository>
		<nexthigherunit>8JMKD3MGPCW/3F2PHGS</nexthigherunit>
		<nexthigherunit>8JMKD3MGPCW/46KUES5</nexthigherunit>
		<hostcollection>urlib.net/www/2021/06.04.03.40</hostcollection>
		<agreement>autorizacao.pdf .htaccess .htaccess2</agreement>
		<lasthostcollection>urlib.net/www/2021/06.04.03.40</lasthostcollection>
		<supervisor>Queiroz, Gilberto Ribeiro de,</supervisor>
		<supervisor>Körting, Thales Sehn,</supervisor>
		<url>http://mtc-m21d.sid.inpe.br/rep-/sid.inpe.br/mtc-m21d/2023/12.21.15.45</url>
	</metadata>
</metadatalist>